Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

⏫ Как ускорить вычисления с массивами с помощью NumExpr

NumExpr — мощный инструмент для ускорения вычислений с массивами в Python, который может значительно повысить производительность при работе с большими данными и сложными математическими выражениями.

Преобразовать медленный цикл, который занимал 650 мс, в вычисление за 60 мс — это реальность с использованием NumExpr.

Вот как NumExpr ускоряет вычисления 🔽

1️⃣ Частичное выполнение в кэше

NumExpr избегает создания огромных временных массивов, разбивая их на части, соответствующие размеру кэша.

Эти части обрабатываются и передаются через легковесную виртуальную машину, что ускоряет выполнение и оптимизирует доступ к памяти.

2️⃣ Ускорение с помощью SIMD и VML

Использование инструкций SIMD (Single Instruction, Multiple Data) позволяет обрабатывать несколько элементов данных одновременно.

При доступности NumExpr использует библиотеку Intel Math Kernel Library (MKL) для трансцендентных функций (таких как sin(), cos(), exp()), что значительно повышает производительность.

3️⃣ Поддержка многозадачного масштабирования

NumExpr автоматически распределяет вычисления между всеми ядрами процессора. Это позволяет эффективно использовать мощности многозадачности, ускоряя вычисления даже при больших данных.

Для работы с NumExpr достаточно заменить стандартные операции NumPy на аналоги NumExpr:

import numexpr as ne
import numpy as np

# Пример массивов
a = np.random.random(1000000)
b = np.random.random(1000000)

# Обычная операция NumPy
result = np.sin(a) + np.cos(b)

# Эквивалент NumExpr
result_ne = ne.evaluate('sin(a) + cos(b)')

Библиотека дата-сайентиста #буст

Please open Telegram to view this post

VIEW IN TELEGRAM

www.tg-me.com/hk/Библиотека data scientist’а | Data Science Machine learning анализ данных машинное обучение/com.dsproglib/6438

1.6K viewsMay 14 at 06:56

⏫ Как ускорить вычисления с массивами с помощью NumExpr

NumExpr — мощный инструмент для ускорения вычислений с массивами в Python, который может значительно повысить производительность при работе с большими данными и сложными математическими выражениями.

Преобразовать медленный цикл, который занимал 650 мс, в вычисление за 60 мс — это реальность с использованием NumExpr.

Вот как NumExpr ускоряет вычисления 🔽

1️⃣ Частичное выполнение в кэше

NumExpr избегает создания огромных временных массивов, разбивая их на части, соответствующие размеру кэша.

Эти части обрабатываются и передаются через легковесную виртуальную машину, что ускоряет выполнение и оптимизирует доступ к памяти.

2️⃣ Ускорение с помощью SIMD и VML

Использование инструкций SIMD (Single Instruction, Multiple Data) позволяет обрабатывать несколько элементов данных одновременно.

При доступности NumExpr использует библиотеку Intel Math Kernel Library (MKL) для трансцендентных функций (таких как sin(), cos(), exp()), что значительно повышает производительность.

3️⃣ Поддержка многозадачного масштабирования

NumExpr автоматически распределяет вычисления между всеми ядрами процессора. Это позволяет эффективно использовать мощности многозадачности, ускоряя вычисления даже при больших данных.

Для работы с NumExpr достаточно заменить стандартные операции NumPy на аналоги NumExpr:

import numexpr as ne
import numpy as np

# Пример массивов
a = np.random.random(1000000)
b = np.random.random(1000000)

# Обычная операция NumPy
result = np.sin(a) + np.cos(b)

# Эквивалент NumExpr
result_ne = ne.evaluate('sin(a) + cos(b)')